#_IA_Tentando_Acompanhar | Edição 47

Olá pessoal!

Você sabe o que é token?

Se você anda lendo notícias de IA por aí, já deve ter visto essa expressão em vários lugares!

Vou explicar de modo simples aqui...

#_O_Que_Eh

De modo simples, um token é basicamente a menor unidade de texto que uma IA pode processar, entender e gerar uma resposta. Pense nele como um "pedacinho" de palavra, que a IA quebra as frases para poder trabalhar!

Pode ser uma palavra inteira, pode ser uma palavra quebrada em partes, pode ser um símbolo, etc.

#_Na_Prática

Quando você usa o ChatGPT, Gemini, Claude, Copilot, Perplexity, entre outros chatbots de IA, os modelos de IA, pegam sua pergunta e quebram em tokens (isso chama okenização).

Dentro do modelo de IA tudo vira tokens, inclusive sua resposta, embora seja transparente para você tudo isso.

#_Exemplos_Práticos

1) Palavra "computador" pode ser dividida em tokens como: "comput"+"ador"

A frase "Estou aprendendo IA" poderia ser: "Estou" + "aprend" + "endo" + "IA"

#_E_O_Que_Eu_Tenho_Com_Isso

A quantidade de tokens que você envia ( tamanho das suas perguntas ) e o tamanho das respostas impacta em custos e qualidade das respostas.

Quando você usa um chatbot gratuito ou pago, eles tem limites de tokens que gerencia bem por interação.

Por exemplo:

gpt-3.5-turbo (antigo) (OpenAI) suporta 16.385 tokens.

gpt-4o (OpenAI) suporta 128.000 tokens (mais ou menos um livro de 300 páginas)

#_Bolso_Das_Empresas

Se sua empresa está construindo aplicações de IA ( usando IA generativa ) ela provavelmente vai pagar por tokens consumidos ( enviados e recebidos )!!

Vou colar abaixo um caso real de um frase tokenizada pela OpenAI para dar exemplo prático.

#_Resumindo

Tokens são as unidades básicas que formam o conteúdo processado por IA. Entender isso ajuda a compreender por que algumas interações podem demorar mais ou custar mais, dependendo da quantidade de tokens envolvidos.

#_Se_For_Curioso_Como_Eu

Segue um link para os curiosos brincarem e verem como é na prática. É so digitar o texto e verá ele tokenizando sua frase!

https://platform.openai.com/tokenizer

Abraços

Sobre o autor:

Rogério Coutinho da Silva

rogerio.coutinho.silva@gmail.com 

https://www.linkedin.com/in/rogerio-coutinho-silva/

Engenheiro de Computação formado pela Universidade Federal de São Carlos (UFSCar). Sócio-fundador da Podium Tecnologia (Consultoria especializada em Governança de Segurança da Informação, Privacidade e Continuidade de Negócios) e da SimpleWay (Plataforma de Governança de Segurança Cibernética, Privacidade e IA).

Foto de IA na Freepik